#Confidence Estimation

4 篇

The Magnitude Mirage: Rethinking Confidence for Reasoning-Intensive Retrieval

量级幻象：重新思考推理密集型检索中的置信度

🧭 RAG 检索置信度与拒答优化

UNSW Sydney · University of Innsbruck

发现相似度分数大小在逻辑/时间推理查询中失效，提出零成本的分数分布信号可显著提升检索拒答 AUROC

📌 工作参考价值（4 点）

在电商/客服/广告的 RAG 场景中，不要用原始相似度分数阈值做检索拒答；直接计算 top-1 与 top-k 的 Score Gap（s1 - sk）或 LSMV（局部分数均值与方差），零成本替换 magnitude thresholding。
对于需要逻辑/时间约束的查询（如“价格低于500且评分4.5以上的红色连衣裙”），语义相似度分数会误导置信度判断，必须引入分数分布信号，否则拒答策略接近随机。
工程实现上，只需在召回后保留 top-k 的分数向量，在线计算 gap / variance，无需额外推理或模型加载；可先离线在 reasoning-intensive 查询集上验证 AUROC，再决定是否上线。
评估检索器或 RAG 流水线时，除了 recall/NDCG，建议加入基于分布信号的 abstention AUROC，尤其在逻辑、时间推理类查询上，能暴露 magnitude 指标的盲区。

RAG | 2026-09-14 | cs.IR | score 7/10

AB-RAG：面向可靠问答的自适应预算检索增强生成

🧭 训练无关的自适应预算RAG与置信度估计 ★ 深度解读

Manipal University Jaipur

无需训练、骨干无关的自适应RAG框架，用三信号置信度控制检索深度，实现高低置信答案准确率57.6% vs 0%的分离

📌 工作参考价值（4 点）

预算可控的自适应检索框架：可借鉴到需要调用LLM的推荐/搜索系统中，通过置信阈值平衡效果与调用成本，尤其适合按量计费的商业API场景。
闭源API的置信度代理：对于无法获取token概率的闭源模型，采用self-consistency（多次采样取众数一致性）作为模型确信度的代理信号，直接可用于线上QA或相似度判断任务。
多信号置信度设计思路：模型内部确信度是最强预测信号，检索得分方差可作为检索质量奖励项，而答案-证据嵌入相似度对短文本任务无效——在构建电商/广告的LLM置信判断时，应优先利用内部概率或采样一致性，并警惕语义相似度在短文本场景的失效。
选择性预测与成本控制：利用置信度分离高/低质量回答，高置信直接返回，低置信触发额外检索或人工审核，既提升可靠性又控制检索开销，适合对时延和预算敏感的在线推荐系统。

RAG | 2026-06-27 | cs.IR | score 8/10

EviRank：基于证据的 LLM 排序置信度估计

🧭 LLM 重排序 · 置信度估计 ★ 深度解读

Xidian University

通过单次前向传播提取三种证据并融合，实现位置级置信度估计与重排序，同时提升推荐质量和不确定性建模。

📌 工作参考价值（4 点）

可直接复用单次前向传播提取置信度的思路：从 LLM 的 hidden state 计算语义差距、注意力熵、输出概率差，无需多轮采样，推理零额外开销，适合在线重排场景。
位置感知校准的 NDCG 折扣目标可迁移至电商推荐：将置信度校准为与位置重要性一致，用 (confidence * NDCG weight) 进行 sigmoid 映射，缓解 LLM 输出概率普遍偏低的扁平分布问题。
可靠意见聚合中的可靠性系数值得借鉴：按各证据源自身的不确定性动态加权融合，比简单平均或 Dempster 组合更鲁棒，可应用于多信号融合的 Agent 决策或排序融合。
置信度加权重排公式简洁有效：用置信度缩放 logits 再 softmax，结合 BPR 损失端到端训练，可直接嵌入现有 LLM4Rerank 管道，适合电商场景中候选集重排。

RecSys | 2026-06-03 | cs.IR | score 10/10

双重维度一致性：平衡自适应推理缩放中预算与质量

🧭 LLM ★ 深度解读

西安交通大学

提出统一框架DDC，通过置信加权贝叶斯终止与趋势感知分层修剪，在维持准确率的同时将令牌消耗降低10倍以上

LLM | 2026-05-14 | cs.AI | score 9/10